Transformer中的余弦相似度解释

Transformer首先将每一个 q u e r y query query 和 k e y key key 做内积，结果作为相似度，那么为什么做内积可以得到相似度呢？

存在两个向量 a = [ a 1 , a 2 , . . . , a n ] a = [a_1, a_2, ..., a_n] a=[a1​,a2​,...,an​] , b = [ b 1 , b 2 , . . . , b n ] b = [b_1, b_2, ..., b_n] b=[b1​,b2​,...,bn​]，则 a , b a, b a,b 的内积为：

a ⋅ b = a 1 b 1 + a 2 b 2 + . . . + a n b n a \cdot b = a_1b_1 + a_2b_2 + ... + a_n b_n a⋅b=a1​b1​+a2​b2​+...+an​bn​

除了上面的计算外， a , b a, b a,b 的内积还可以写成：

a ⋅ b = ∣ a ∣ ∣ b ∣ c o s ( a , b ) a \cdot b = |a||b| cos(a, b) a⋅b=∣a∣∣b∣cos(a,b)

自然而然我们可以推出 c o s ( a , b ) cos(a,b) cos(a,b) 的计算公式：

c o s ( a , b ) = a ⋅ b ∣ a ∣ ∣ b ∣ cos(a, b)=\frac{a \cdot b}{ |a||b| } cos(a,b)=∣a∣∣b∣a⋅b​

从上面的公式我们可以看出：

但是光看余弦相似度这个指标是不太行的，因为它是归一化后的结果，只根据两个向量角度来进行相似度计算，没有考虑向量的长度。

举个例子：

比如两个向量 A = ( 1 , 1 , 0 ) , B = ( 0 , 1 , 1 ) A=(1,1,0), B=(0, 1, 1) A=(1,1,0),B=(0,1,1)， A B AB AB 余弦相似度为 1 ( 2 ∗ 2 ) = 1 2 \frac{1}{(\sqrt{2} * \sqrt{2})} = \frac{1}{2} (2 ​∗2 ​)1​=21​。余弦相似度不考虑向量长度， ( 1 , 1 , 0 ) (1,1,0) (1,1,0) 和 ( 0 , 3 , 3 ) (0, 3, 3) (0,3,3) 的相似度 = A B AB AB 的相似度

但是，如果向量的长度对相似性有真实影响，那么 A ( 1 , 1 ) , B ( 4 , 4 ) , C ( 5 , 5 ) A(1, 1),B(4, 4),C(5, 5) A(1,1),B(4,4),C(5,5) 三个向量，相似度分别为：

c o s ( A , B ) = 1 × 4 + 1 × 4 1 2 + 1 2 × 4 2 + 4 2 = 8 64 = 1 cos(A, B) = \frac{1\times4 + 1\times 4}{\sqrt{1^2 + 1^2}\times \sqrt{4^2 + 4 ^2}} = \frac{8}{\sqrt{64}} = 1 cos(A,B)=12+12 ​×42+42 ​1×4+1×4​=64 ​8​=1

c o s ( B , C ) = 4 × 5 + 4 × 5 4 2 + 4 2 × 5 2 + 5 2 = 40 32 × 50 = 1 cos(B, C) = \frac{4\times5 + 4 \times 5}{\sqrt{4^2 + 4^2}\times\sqrt{5^2 + 5^2}} = \frac{40}{\sqrt{32} \times \sqrt{50}} = 1 cos(B,C)=42+42 ​×52+52 ​4×5+4×5​=32 ​×50 ​40​=1

可以看到，二者的余弦相似度是相同的，但 B C BC BC 内积( 40 ) 大于 A B AB AB 内积( 8 )，故 B C BC BC 更相似。

参考 核函数